Informationstheorie


Informationstheorie
In|for|ma|ti|ons|the|o|rie 〈f. 19; unz.〉 Lehre über die quantitativen Zusammenhänge bei Übertragung, Speicherung u. Empfang von Informationen

* * *

I
Informationstheorie,
 
von dem amerikanischen Mathematiker C. E. Shannon 1948 begründete mathematische Theorie der Übertragung von Nachrichten. Erstes Ziel war es, viel Information unter Verwendung von wenigen Zeichen zu übertragen. Später untersuchte man den Informationsgehalt von Nachrichten und die Möglichkeit, Informationen fehlerfrei weiterzuleiten.
 
In der Informationspsychologie werden die Erkenntnisse der Informationstheorie auf die Erforschung psychischer Vorgänge und zur Analyse von verschiedenen Leistungen des Gehirns, der Sinne und der Nerven sowie von Vorgängen der Informationsübertragung (Sprache, Bild) angewendet. So stellt der menschliche Erkenntnisprozess aus der Sicht der Informationstheorie beziehungsweise der Kybernetik eine spezielle Form der Informationsverarbeitung innerhalb eines hochkomplizierten Systems dar. Bei diesem System fungieren die menschlichen Rezeptoren (Sinnesorgane) als Eingang (Input), die Effektoren (z. B. beim Sprechen) als Ausgang (Output).
 
Die Informationsmenge, die von den menschlichen Rezeptoren aus der Umwelt aufgenommen werden kann (etwa das Gesamtstadtbild von Mannheim), liegt in der Größenordnung von 1010 Bits pro Sekunde. Bemerkenswerterweise verarbeitet der Mensch jedoch in der Regel höchstens eine Informationsmenge von 25 Bits pro Sekunde. Die Informationsmenge wird also während des menschlichen Erkennungsprozesses einschneidend reduziert. Insbesondere werden die für die Beherrschung der menschlichen Umwelt unwesentlichen Informationen »herausgefiltert«.
II
Informationstheorie,
 
die von C. Shannon an den Bell Laboratories 1948 begründete mathematische Theorie, die sich mit der strukturellen und quantitativen Erfassung und mit den Gesetzmäßigkeiten der Übermittlung und Verarbeitung von Nachrichten und den in ihnen enthaltenen Informationen befasst. Sie macht jedoch keine Aussagen zum Sinngehalt. Das Grundmodell jeder Informationsübertragung ist in der Informationstheorie die shannonsche Informationskette, die aus einer Nachrichtenquelle (Sender), einem Nachrichtenkanal und einer Nachrichtensenke (Empfänger) besteht. Die zu übermittelnde Information wird vom Sender kodiert, vom Empfänger dekodiert. Die Informationstheorie verwendet zur Untersuchung von Nachrichten und deren Übertragung vorwiegend Methoden aus der Wahrscheinlichkeitsrechnung und der mathematischen Statistik. Die bei der Nachrichtenübertragung im Kanal verloren gehende Information wird als Äquivokation, Störungen werden allgemein als Rauschen bezeichnet.
 
Der Informationsgehalt einer Nachricht ist ein spezielles Maß, das der Zeichenfolge der Nachricht zugeordnet werden kann. Er hängt nur von den Wahrscheinlichkeiten ab, mit denen die einzelnen Zeichen auftreten. Häufigere, wahrscheinlichere Zeichenfolgen haben einen geringeren Informationsgehalt als seltenere, unwahrscheinlichere. Mathematisch ist der Informationsgehalt eines einzelnen Zeichens umgekehrt proportional zum Logarithmus (zur Basis 2) der Wahrscheinlichkeit seines Auftretens, der Informationsgehalt einer Nachricht ist die Summe der Informationsgehalte der einzelnen Zeichen. Den Informationsgehalt einer Nachricht nennt man auch Entropie, da Analogien zur Entropie eines thermodynamischen Systems in der Physik bestehen (dort ist diese Größe ein Maß für die Ordnung eines abgeschlossenen thermodynamischen Systems).
 
Die Einheit des Informationsgehalts heißt bit (nicht zu verwechseln mit Bit). Die Anzahl bit eines Zeichens innerhalb eines Zeichenvorrats lässt sich als die Anzahl optimal gewählter Ja/nein-Entscheidungen deuten, die man braucht, um dieses Zeichen sicher zu ermitteln. Die Redundanz ist ein Maß für den Anteil einer Nachricht, der keine Informationen enthält; sie wird ebenfalls in bit angegeben. Redundanz einer Nachricht sorgt dafür, dass diese auch dann noch verständlich ist, wenn bei der Übertragung Störungen auftreten (z. B. Rauschen). Die Redundanz einer Nachricht wird in der Regel absichtlich vergrößert, um die Störanfälligkeit zu verringern, zum Beispiel durch Wiederholung von Zeichenfolgen oder Einschieben von Prüfzeichen (Prüfbit).
 
Beispiel: Der Informationsgehalt eines der 30 Zeichen der deutschen Schriftsprache (Buchstaben plus Zwischenraum) beträgt unter der Annahme, dass alle Buchstaben gleich wahrscheinlich auftreten log230 = 4,9 bit. Man benötigt im Durchschnitt also knapp fünf Ja/nein-Entscheidungen zur Ermittlung eines Buchstabens. Berücksichtigt man die Wahrscheinlichkeit der Buchstaben und Buchstabenfolgen, erhält man einen Informationsgehalt von nur noch 1,6 bit pro Zeichen. Die Differenz von 3,3 zwischen beiden Werten ist die Redundanz. Sie ist so groß, dass ein Text auch dann noch lesbar ist, wenn jeder zweite Buchstabe fehlt.

* * *

In|for|ma|ti|ons|theo|rie, die: 1. mathematische Theorie, welche die Übertragung u. Verarbeitung von ↑Information (3) beschreibt. 2. Forschungszweig der Psychologie, der die Abhängigkeit menschlicher Entscheidungen vom Umfang der für eine sichere Entscheidung erforderlichen Informationen zu ermitteln versucht.

Universal-Lexikon. 2012.

Schlagen Sie auch in anderen Wörterbüchern nach:

  • Informationstheorie — Die Informationstheorie ist eine mathematische Theorie aus dem Bereich der Wahrscheinlichkeitstheorie und Statistik, die auf Claude Shannon zurückgeht. Sie beschäftigt sich mit Begriffen wie Information, Entropie, Informationsübertragung,… …   Deutsch Wikipedia

  • Informationstheorie — informacijos teorija statusas T sritis automatika atitikmenys: angl. information theory vok. Informationstheorie, f rus. теория информации, f pranc. théorie de l information …   Automatikos terminų žodynas

  • Informationstheorie — informacijos teorija statusas T sritis fizika atitikmenys: angl. information theory vok. Informationstheorie, f rus. теория информации, f pranc. théorie de l’information, f …   Fizikos terminų žodynas

  • Informationstheorie — In|for|ma|ti|ons|the|o|rie 〈f.; Gen.: ; Pl.: unz.〉 Lehre über die quantitativen Zusammenhänge bei Übertragung, Speicherung u. Empfang von Informationen; →a. s. Informatik …   Lexikalische Deutsches Wörterbuch

  • Informationstheorie — In|for|ma|ti|ons|the|o|rie die; : math. Theorie, die sich mit der quantitativen u. strukturellen Erforschung der Information (2) befasst; Theorie der elektronischen Nachrichtenübertragung …   Das große Fremdwörterbuch

  • Informationstheorie — In|for|ma|ti|ons|the|o|rie …   Die deutsche Rechtschreibung

  • Informationstheorie der Bewegungsregelung — informacinė judesių valdymo teorija statusas T sritis Kūno kultūra ir sportas apibrėžtis Judesių valdymo teorija, teigianti, kad judesio veiksmingumas priklauso nuo informacijos apie atliekamą ar būsimą judesį kiekio: informacija iš raumenų,… …   Sporto terminų žodynas

  • Entropie (Informationstheorie) — Entropie ist ein Maß für den mittleren Informationsgehalt oder auch Informationsdichte eines Zeichensystems. Der Begriff in der Informationstheorie ist in Analogie zur Entropie in der Thermodynamik und Statistischen Mechanik benannt. Das… …   Deutsch Wikipedia

  • Algorithmische Informationstheorie — Die algorithmische Informationstheorie ist eine Theorie aus der theoretischen Informatik, die im Gegensatz zur klassischen Informationstheorie die Kolmogorow Komplexität zur Bestimmung des Informationsgehalts verwendet. Sie wurde im Wesentlichen… …   Deutsch Wikipedia

  • Bit (Informationstheorie) — Die Artikel Informationstheorie, Shannon Index und Shannon (Einheit) überschneiden sich thematisch. Hilf mit, die Artikel besser voneinander abzugrenzen oder zu vereinigen. Beteilige dich dazu an der Diskussion über diese Überschneidungen. Bitte… …   Deutsch Wikipedia